잠재 요인

작성자

익명

작성일

2026.07.25

조회수

버전

잠재 요인 추천 시스템 행렬 분해 Matrix Factorization PyTorch SVD 임베딩 데이터과학 중급

잠재 요인 (Latent Factor)

1. 개요

잠재 요인(Latent Factor)이란 데이터 세트에서 직접적으로 관찰되지는 않지만, 관찰 가능한 변수들 간의 관계를 통해 추론할 수 있는 숨겨진 특성을 의미한다. 이 개념은 통계학의 요인 분석(Factor Analysis)에서 유래하였으며, 추천 시스템 외에도 심리 측정, 유전자 분석 등 다양한 분야에서 사용된다.

추천 시스템에서 관찰 가능한 데이터(Explicit Data)는 사용자가 아이템에 남긴 별점이나 구매 여부와 같은 상호작용 기록이다. 반면, 잠재 요인은 이러한 행동 패턴 뒤에 숨어 있는 '사용자의 취향'이나 '아이템의 속성'을 수치화한 것이다. 예를 들어, 영화 추천 시스템에서 사용자가 '어벤져스'와 '아이언맨'에 높은 점수를 주었다면, 시스템은 이 사용자가 '히어로물'이라는 잠재 요인에 긍정적인 반응을 보인다고 추론할 수 있다. 여기서 '히어로물'이라는 태그가 데이터에 명시되어 있지 않더라도, 유사한 패턴을 보이는 사용자 그룹을 통해 해당 특성을 벡터 형태로 추출해내는 것이 잠재 요인 모델의 핵심이다.

2. 핵심 원리 및 작동 방식

잠재 요인 모델의 핵심은 고차원의 희소 행렬(Sparse Matrix)을 저차원의 밀집 벡터(Dense Vector) 공간인 잠재 공간(Latent Space)으로 투영하는 것이다. 대부분의 사용자-아이템 행렬은 사용자가 모든 아이템을 소비하지 않기 때문에 빈칸이 많은 희소 행렬 형태를 띤다. 이를 해결하기 위해 행렬 분해(Matrix Factorization) 기법을 사용하여 원래의 행렬을 두 개의 작은 행렬로 분해한다.

행렬 분해 구조

사용자-아이템 상호작용 행렬 $\mathbf{R}$을 사용자 잠재 요인 행렬 $\mathbf{P}$와 아이템 잠재 요인 행렬 $\mathbf{Q}$의 곱으로 근사하는 과정은 다음과 같다.

$$\mathbf{R} \approx \mathbf{P} \mathbf{Q}^\top$$

구분	관찰 데이터 행렬 ($\mathbf{R}$)	사용자 잠재 요인 행렬 ($\mathbf{P}$)	아이템 잠재 요인 행렬 ($\mathbf{Q}$)
차원	$m \times n$ (사용자 수 $\times$ 아이템 수)	$m \times k$ (사용자 수 $\times$ 잠재 요인 수)	$k \times n$ (잠재 요인 수 $\times$ 아이템 수)
의미	실제 관찰된 평점/상호작용	사용자가 각 잠재 요인에 갖는 선호도	아이템이 각 잠재 요인을 얼마나 보유했는가
특징	매우 크고 비어 있음 (Sparse)	작고 밀집됨 (Dense)	작고 밀집됨 (Dense)

여기서 $k$는 하이퍼파라미터로, 추출하고자 하는 잠재 요인의 개수를 의미한다. $k$가 너무 작으면 데이터의 복잡성을 충분히 학습하지 못하는 과소적합(Underfitting)이 발생하고, 너무 크면 훈련 데이터의 노이즈까지 학습하는 과적합(Overfitting)의 위험이 있다. $k$가 적절할 때 모델은 데이터의 노이즈를 제거하고 핵심적인 패턴만을 학습하게 된다.

3. 추천 시스템에서의 활용

추천 시스템은 학습된 잠재 요인 벡터의 내적(Dot Product)을 통해 특정 사용자가 아직 소비하지 않은 아이템에 대해 가질 선호도를 예측한다.

선호도 예측 과정

벡터 추출: 사용자 $u$의 잠재 벡터 $p_u$와 아이템 $i$의 잠재 벡터 $q_i$를 추출한다.
내적 계산: $\hat{r}_{ui} = p_u \cdot q_i^\top = \sum_{f=1}^{k} p_{uf} q_{if}$
추천 생성: 예측값 $\hat{r}_{ui}$가 높은 상위 $N$개의 아이템을 사용자에게 추천한다.

Python/PyTorch 구현 예시

아래는 간단한 행렬 분해 구조를 PyTorch로 구현한 예시 코드이다.

import torch
import torch.nn as nn

class MatrixFactorization(nn.Module):
    def __init__(self, num_users, num_items, k=10):
        super(MatrixFactorization, self).__init__()
        # 사용자 잠재 요인 행렬 (m x k)
        self.user_embedding = nn.Embedding(num_users, k)
        # 아이템 잠재 요인 행렬 (n x k)
        self.item_embedding = nn.Embedding(num_items, k)
        
    def forward(self, user_indices, item_indices):
        user_vecs = self.user_embedding(user_indices)
        item_vecs = self.item_embedding(item_indices)
        # 요소별 곱(Element-wise product) 후 합산하여 내적(Dot Product) 구현
        return (user_vecs * item_vecs).sum(dim=1)

# 설정: 사용자 100명, 아이템 500개, 잠재 요인 20개
model = MatrixFactorization(100, 500, 20)
user_idx = torch.tensor([0]) # 0번 사용자
item_idx = torch.tensor([10]) # 10번 아이템
prediction = model(user_idx, item_idx)
print(f"Predicted Rating: {prediction.item()}")

이 구현은 단순화를 위해 편향(Bias) 항을 제외한 기본 MF 구조임

4. 주요 알고리즘 및 모델

잠재 요인을 효율적으로 추출하기 위해 다양한 최적화 기법이 사용된다.

최적화 기법 비교

알고리즘	작동 방식	장점	단점
SVD (특이값 분해)	행렬을 직교 행렬과 대각 행렬로 분해	수학적 기반이 탄탄하며 전역 최적해 제공	결측치가 있는 행렬에 직접 적용 불가 (Imputation 필요)
SGD (확률적 경사 하강법)	개별 데이터 포인트마다 오차를 계산해 가중치 업데이트	대규모 데이터셋에 효율적이며 구현이 간단함	학습률(Learning Rate) 설정에 민감하며 수렴 속도가 느릴 수 있음
ALS (교대 최소제곱법)	$P$를 고정하고 $Q$를 최적화, 다시 $Q$를 고정하고 $P$를 최적화하는 과정을 반복	병렬 처리가 가능하여 분산 환경(Spark 등)에 적합하며, 명시적/암시적 피드백 모두 처리 가능	반복 계산 횟수가 많아질 수 있으며 메모리 사용량이 높음

SVD와 MF의 차이점

흔히 혼용되어 사용되지만, 엄밀한 의미에서 SVD(Singular Value Decomposition)와 MF(Matrix Factorization)는 차이가 있다. * SVD: 수학적으로 정의된 행렬 분해 기법으로, 모든 원소가 채워진 행렬을 대상으로 하며 유일한 해를 가진다. 하지만 실제 추천 시스템의 데이터는 대부분 비어있어(Sparse), 모든 빈칸을 특정 값으로 채우는 Imputation 과정이 필요하며 이는 계산 비용이 매우 크고 왜곡을 일으킬 수 있다. * MF: 관찰된 데이터(평점이 존재하는 값)만을 사용하여 손실 함수를 최소화하는 방향으로 $P$와 $Q$를 학습하는 최적화 접근 방식이다. 빈칸을 채울 필요 없이 존재하는 데이터만으로 잠재 요인을 추론하므로 실제 추천 시스템에 훨씬 적합하다.

5. 잠재 요인 모델의 한계와 발전

한계점

콜드 스타트(Cold Start): 새로운 사용자나 아이템이 추가되었을 때, 상호작용 데이터가 없으므로 잠재 요인 벡터를 생성할 수 없다.
해석 가능성(Interpretability) 부족: 추출된 $k$개의 잠재 요인이 구체적으로 무엇(예: 장르, 분위기, 가격대 등)을 의미하는지 인간이 이해하기 어렵다.

해결 방안

하이브리드 추천(Hybrid Recommendation): 콘텐츠 기반 필터링(Content-based Filtering)을 결합하여, 상호작용 데이터가 없는 신규 아이템의 경우 메타데이터(장르, 설명 등)를 통해 초기 잠재 벡터를 할당한다.
사전 설문 및 온보딩: 신규 사용자에게 선호 장르를 선택하게 하여 초기 잠재 요인 벡터를 생성한다.
정규화(Regularization): L2 정규화 등을 통해 과적합을 방지하고 모델의 일반화 성능을 높인다.

딥러닝 기반 임베딩으로의 확장

최근에는 단순한 내적 기반의 행렬 분해를 넘어, 신경망을 이용한 임베딩(Embedding) 기법으로 발전하고 있다.

Neural Collaborative Filtering (NCF): 내적 연산을 다층 퍼셉트론(MLP)으로 대체하여 사용자-아이템 간의 비선형적인 복잡한 관계를 학습한다.
Autoencoders (AutoRec): 오토인코더 구조를 통해 입력된 사용자 벡터를 압축(Encoding)하고 복원(Decoding)하는 과정에서 최적의 잠재 표현을 학습한다.
Graph Neural Networks (GNN): 사용자-아이템 관계를 그래프로 정의하고, 인접 노드의 정보를 집계(Aggregation)하여 더 풍부한 문맥이 담긴 잠재 요인을 생성한다. (예: Pinterest의 PinSage)

📝 마크다운 원본

이 문서의 마크다운 원본 내용입니다.

# 잠재 요인 (Latent Factor)

## 1. 개요
**잠재 요인(Latent Factor)**이란 데이터 세트에서 직접적으로 관찰되지는 않지만, 관찰 가능한 변수들 간의 관계를 통해 추론할 수 있는 숨겨진 특성을 의미한다. 이 개념은 통계학의 요인 분석(Factor Analysis)에서 유래하였으며, 추천 시스템 외에도 심리 측정, 유전자 분석 등 다양한 분야에서 사용된다.

추천 시스템에서 관찰 가능한 데이터(Explicit Data)는 사용자가 아이템에 남긴 별점이나 구매 여부와 같은 상호작용 기록이다. 반면, 잠재 요인은 이러한 행동 패턴 뒤에 숨어 있는 '사용자의 취향'이나 '아이템의 속성'을 수치화한 것이다. 예를 들어, 영화 추천 시스템에서 사용자가 '어벤져스'와 '아이언맨'에 높은 점수를 주었다면, 시스템은 이 사용자가 '히어로물'이라는 잠재 요인에 긍정적인 반응을 보인다고 추론할 수 있다. 여기서 '히어로물'이라는 태그가 데이터에 명시되어 있지 않더라도, 유사한 패턴을 보이는 사용자 그룹을 통해 해당 특성을 벡터 형태로 추출해내는 것이 잠재 요인 모델의 핵심이다.

## 2. 핵심 원리 및 작동 방식
잠재 요인 모델의 핵심은 고차원의 희소 행렬(Sparse Matrix)을 저차원의 밀집 벡터(Dense Vector) 공간인 **잠재 공간(Latent Space)**으로 투영하는 것이다. 대부분의 사용자-아이템 행렬은 사용자가 모든 아이템을 소비하지 않기 때문에 빈칸이 많은 희소 행렬 형태를 띤다. 이를 해결하기 위해 **행렬 분해(Matrix Factorization)** 기법을 사용하여 원래의 행렬을 두 개의 작은 행렬로 분해한다.

### 행렬 분해 구조
사용자-아이템 상호작용 행렬 $\mathbf{R}$을 사용자 잠재 요인 행렬 $\mathbf{P}$와 아이템 잠재 요인 행렬 $\mathbf{Q}$의 곱으로 근사하는 과정은 다음과 같다.

$$\mathbf{R} \approx \mathbf{P} \mathbf{Q}^\top$$

| 구분 | 관찰 데이터 행렬 ($\mathbf{R}$) | 사용자 잠재 요인 행렬 ($\mathbf{P}$) | 아이템 잠재 요인 행렬 ($\mathbf{Q}$) |
| :--- | :--- | :--- | :--- |
| **차원** | $m \times n$ (사용자 수 $\times$ 아이템 수) | $m \times k$ (사용자 수 $\times$ 잠재 요인 수) | $k \times n$ (잠재 요인 수 $\times$ 아이템 수) |
| **의미** | 실제 관찰된 평점/상호작용 | 사용자가 각 잠재 요인에 갖는 선호도 | 아이템이 각 잠재 요인을 얼마나 보유했는가 |
| **특징** | 매우 크고 비어 있음 (Sparse) | 작고 밀집됨 (Dense) | 작고 밀집됨 (Dense) |

여기서 $k$는 하이퍼파라미터로, 추출하고자 하는 잠재 요인의 개수를 의미한다. $k$가 너무 작으면 데이터의 복잡성을 충분히 학습하지 못하는 **과소적합(Underfitting)**이 발생하고, 너무 크면 훈련 데이터의 노이즈까지 학습하는 **과적합(Overfitting)**의 위험이 있다. $k$가 적절할 때 모델은 데이터의 노이즈를 제거하고 핵심적인 패턴만을 학습하게 된다.

## 3. 추천 시스템에서의 활용
추천 시스템은 학습된 잠재 요인 벡터의 **내적(Dot Product)**을 통해 특정 사용자가 아직 소비하지 않은 아이템에 대해 가질 선호도를 예측한다.

### 선호도 예측 과정
1. **벡터 추출**: 사용자 $u$의 잠재 벡터 $p_u$와 아이템 $i$의 잠재 벡터 $q_i$를 추출한다.
2. **내적 계산**: $\hat{r}_{ui} = p_u \cdot q_i^\top = \sum_{f=1}^{k} p_{uf} q_{if}$
3. **추천 생성**: 예측값 $\hat{r}_{ui}$가 높은 상위 $N$개의 아이템을 사용자에게 추천한다.

### Python/PyTorch 구현 예시
아래는 간단한 행렬 분해 구조를 PyTorch로 구현한 예시 코드이다.

```python
import torch
import torch.nn as nn

class MatrixFactorization(nn.Module):
    def __init__(self, num_users, num_items, k=10):
        super(MatrixFactorization, self).__init__()
        # 사용자 잠재 요인 행렬 (m x k)
        self.user_embedding = nn.Embedding(num_users, k)
        # 아이템 잠재 요인 행렬 (n x k)
        self.item_embedding = nn.Embedding(num_items, k)
        
    def forward(self, user_indices, item_indices):
        user_vecs = self.user_embedding(user_indices)
        item_vecs = self.item_embedding(item_indices)
        # 요소별 곱(Element-wise product) 후 합산하여 내적(Dot Product) 구현
        return (user_vecs * item_vecs).sum(dim=1)

# 설정: 사용자 100명, 아이템 500개, 잠재 요인 20개
model = MatrixFactorization(100, 500, 20)
user_idx = torch.tensor([0]) # 0번 사용자
item_idx = torch.tensor([10]) # 10번 아이템
prediction = model(user_idx, item_idx)
print(f"Predicted Rating: {prediction.item()}")
```
*이 구현은 단순화를 위해 편향(Bias) 항을 제외한 기본 MF 구조임*

## 4. 주요 알고리즘 및 모델
잠재 요인을 효율적으로 추출하기 위해 다양한 최적화 기법이 사용된다.

### 최적화 기법 비교

| 알고리즘 | 작동 방식 | 장점 | 단점 |
| :--- | :--- | :--- | :--- |
| **SVD** (특이값 분해) | 행렬을 직교 행렬과 대각 행렬로 분해 | 수학적 기반이 탄탄하며 전역 최적해 제공 | 결측치가 있는 행렬에 직접 적용 불가 (Imputation 필요) |
| **SGD** (확률적 경사 하강법) | 개별 데이터 포인트마다 오차를 계산해 가중치 업데이트 | 대규모 데이터셋에 효율적이며 구현이 간단함 | 학습률(Learning Rate) 설정에 민감하며 수렴 속도가 느릴 수 있음 |
| **ALS** (교대 최소제곱법) | $P$를 고정하고 $Q$를 최적화, 다시 $Q$를 고정하고 $P$를 최적화하는 과정을 반복 | 병렬 처리가 가능하여 분산 환경(Spark 등)에 적합하며, 명시적/암시적 피드백 모두 처리 가능 | 반복 계산 횟수가 많아질 수 있으며 메모리 사용량이 높음 |

### SVD와 MF의 차이점
흔히 혼용되어 사용되지만, 엄밀한 의미에서 SVD(Singular Value Decomposition)와 MF(Matrix Factorization)는 차이가 있다.
*   **SVD**: 수학적으로 정의된 행렬 분해 기법으로, 모든 원소가 채워진 행렬을 대상으로 하며 유일한 해를 가진다. 하지만 실제 추천 시스템의 데이터는 대부분 비어있어(Sparse), 모든 빈칸을 특정 값으로 채우는 Imputation 과정이 필요하며 이는 계산 비용이 매우 크고 왜곡을 일으킬 수 있다.
*   **MF**: 관찰된 데이터(평점이 존재하는 값)만을 사용하여 손실 함수를 최소화하는 방향으로 $P$와 $Q$를 학습하는 최적화 접근 방식이다. 빈칸을 채울 필요 없이 존재하는 데이터만으로 잠재 요인을 추론하므로 실제 추천 시스템에 훨씬 적합하다.

## 5. 잠재 요인 모델의 한계와 발전

### 한계점
1. **콜드 스타트(Cold Start)**: 새로운 사용자나 아이템이 추가되었을 때, 상호작용 데이터가 없으므로 잠재 요인 벡터를 생성할 수 없다.
2. **해석 가능성(Interpretability) 부족**: 추출된 $k$개의 잠재 요인이 구체적으로 무엇(예: 장르, 분위기, 가격대 등)을 의미하는지 인간이 이해하기 어렵다.

### 해결 방안
*   **하이브리드 추천(Hybrid Recommendation)**: 콘텐츠 기반 필터링(Content-based Filtering)을 결합하여, 상호작용 데이터가 없는 신규 아이템의 경우 메타데이터(장르, 설명 등)를 통해 초기 잠재 벡터를 할당한다.
*   **사전 설문 및 온보딩**: 신규 사용자에게 선호 장르를 선택하게 하여 초기 잠재 요인 벡터를 생성한다.
*   **정규화(Regularization)**: L2 정규화 등을 통해 과적합을 방지하고 모델의 일반화 성능을 높인다.

### 딥러닝 기반 임베딩으로의 확장
최근에는 단순한 내적 기반의 행렬 분해를 넘어, 신경망을 이용한 **임베딩(Embedding)** 기법으로 발전하고 있다.

*   **Neural Collaborative Filtering (NCF)**: 내적 연산을 다층 퍼셉트론(MLP)으로 대체하여 사용자-아이템 간의 비선형적인 복잡한 관계를 학습한다.
*   **Autoencoders (AutoRec)**: 오토인코더 구조를 통해 입력된 사용자 벡터를 압축(Encoding)하고 복원(Decoding)하는 과정에서 최적의 잠재 표현을 학습한다.
*   **Graph Neural Networks (GNN)**: 사용자-아이템 관계를 그래프로 정의하고, 인접 노드의 정보를 집계(Aggregation)하여 더 풍부한 문맥이 담긴 잠재 요인을 생성한다. (예: Pinterest의 PinSage)

AI 생성 콘텐츠 안내

이 문서는 AI 모델(gemma-4-31b)에 의해 생성된 콘텐츠입니다.

주의사항: AI가 생성한 내용은 부정확하거나 편향된 정보를 포함할 수 있습니다. 중요한 결정을 내리기 전에 반드시 신뢰할 수 있는 출처를 통해 정보를 확인하시기 바랍니다.

위키너와나